WordPress robots.txt 2026 版完全指南：虚拟 vs 物理优先级、AI 爬虫策略、Allow/Disallow 引擎差异
WordPress 的 robots.txt 写错会让 Google 抓不到内容、写『通用版』反而屏蔽掉 CSS/JS 让移动友好性扣分。本文给出 2026 年标准模板：虚拟 robots.txt 与物理文件的优先级判定、wp-content/wp-includes 不再屏蔽的理由、GPTBot/ClaudeBot 等 AI 爬虫的拦放分类、Allow/Disallow 在 Google/Bing/百度的优先级差异、附件页处理、Site…
26 分钟阅读
robots.txt
AI爬虫
Yoast SEO